Ông tên thật là Phùng Văn Thụ, sinh năm 1920, tại xã Văn Nhân, huyện Phú Xuyên, phủ Thường Tín, tỉnh Hà Đông (nay là huyện Phú Xuyên, Thành phố Hà Nội). Nhà nghèo, thuở nhỏ ông lưu lạc sang Vân Nam (Trung Quốc) kiếm sống. Năm 1936, ông được Hoàng Văn Hoan vận động và tham gia tổ chức Việt Nam Độc lập đồng minh hội hải ngoại và được cử đi học ở trường sĩ quan Hoàng Phố, tốt nghiệp với quân hàm Trung úy. Năm 1939, ông gia nhập Đảng Cộng sản Đông Dương và được cử làm bảo vệ cho Nguyễn Ái Quốc, lúc này đang đóng vai thiếu tá Bát lộ quân Hồ Quang. Thời gian này, Nguyễn Ái Quốc đặt cho ông bí danh là Phùng Hữu Tài.